Beliau begitu dibenci dalam kalangan warga Sepanyol. Malah, terdapat khabar angin dan hebahan tidak benar mengenai beliau yang kononnya kaki botol sehingga beliau digelar Pepe Botella ("Joseph Botol"). Ketibaannya turut mencetuskan pemberontakan anti-Perancis dalam kalangan warga negara tersebut, lalu terjadinya Perang Semenanjung. Sebahagian jajahan empayar Sepanyol seperti Venezuela dan Mexico turut merdeka sepanjang pemerintahan beliau.

Gerakan Pasitan dalam institusi Gereja Katolik negara tersebut ditamatkan beliau sebahagiannya kerana pertelingkahan pendapat dengan Paus Pius VII.